本文提出了一种基于答案设置编程（ASP）的方法，用于代表自然语言文本生成的知识。文本中的知识是使用Neo Davidsonian的形式主义建模的，然后将其表示为答案集计划。相关的致辞知识另外导入Wordnet等资源，并在ASP中表示。然后可以使用所产生的知识库来在ASP系统的帮助下执行推理。这种方法可以促进许多自然语言任务，如自动问题应答，文本摘要和自动化问题。基于ASP的技术表示，例如默认推理，分层知识组织，默认值等的首选项，用于模拟完成这些任务所需的致辞推理方法。在本文中，我们描述了我们开发的CaspR系统，以自动解决在给出英语文本时回答自然语言问题的任务。 CASPR可以被视为一个系统，通过“了解”文本并已在队列数据集上进行了测试，具有有希望的结果。
translated by 谷歌翻译
The ability to effectively reuse prior knowledge is a key requirement when building general and flexible Reinforcement Learning (RL) agents. Skill reuse is one of the most common approaches, but current methods have considerable limitations.For example, fine-tuning an existing policy frequently fails, as the policy can degrade rapidly early in training. In a similar vein, distillation of expert behavior can lead to poor results when given sub-optimal experts. We compare several common approaches for skill transfer on multiple domains including changes in task and system dynamics. We identify how existing methods can fail and introduce an alternative approach to mitigate these problems. Our approach learns to sequence existing temporally-extended skills for exploration but learns the final policy directly from the raw experience. This conceptual split enables rapid adaptation and thus efficient data collection but without constraining the final solution.It significantly outperforms many classical methods across a suite of evaluation tasks and we use a broad set of ablations to highlight the importance of differentc omponents of our method.
translated by 谷歌翻译
从过去的经验中发现有用的行为并将其转移到新任务的能力被认为是自然体现智力的核心组成部分。受神经科学的启发，发现在瓶颈状态下切换的行为一直被人们追求，以引起整个任务的最小描述长度的计划。先前的方法仅支持在线，政策，瓶颈状态发现，限制样本效率或离散的状态行动域，从而限制适用性。为了解决这个问题，我们介绍了基于模型的离线选项（MO2），这是一个脱机后视框架，支持在连续的状态行动空间上发现样品效率高效瓶颈选项。一旦脱机而在源域上学习了瓶颈选项，它们就会在线转移，以改善转移域的探索和价值估计。我们的实验表明，在复杂的长途连续控制任务上，具有稀疏，延迟的奖励，MO2的属性至关重要，并且导致性能超过最近的选项学习方法。其他消融进一步证明了对期权可预测性和信用分配的影响。
translated by 谷歌翻译
2021-12-09
对于在现实世界中运营的机器人来说，期望学习可以有效地转移和适应许多任务和场景的可重复使用的行为。我们提出了一种使用分层混合潜变量模型来从数据中学习抽象运动技能的方法。与现有工作相比，我们的方法利用了离散和连续潜在变量的三级层次结构，以捕获一组高级行为，同时允许如何执行它们的差异。我们在操纵域中展示该方法可以有效地将离线数据脱落到不同的可执行行为，同时保留连续潜变量模型的灵活性。由此产生的技能可以在新的任务，看不见的对象和州内转移和微调到基于视觉的策略，与现有的技能和仿制的方法相比，产生更好的样本效率和渐近性能。我们进一步分析了技能最有益的方式以及何时：他们鼓励定向探索来涵盖与任务相关的国家空间的大区域，使其在挑战稀疏奖励环境中最有效。
translated by 谷歌翻译